FlagEval 7月榜丨新增29个模型评测结果

智源研究院FlagEval 7月榜单新增29个语言、多模态和文生图开源与闭源模型评测结果，包括阿里巴巴、OpenAI、快手、智谱等厂商近期发布的新模型。

本次评测发现，大语言模型，国产模型主观能力整体有所提升；视觉语言新模型的能力有所提升，从本次指标上观察来看，使用强大的语言模型，如llama3可以提高多模态模型的相关指标，但是否真正提升跨模态能力，还有待进一步的研究；文生图模型，国内外模型差距极大缩小，效果逼近国际一流水平。

闭源大语言模型，取中文+英文主观评测的综合成绩，共更新14个闭源模型，以下为Top 10上榜模型得分情况：

开源大语言模型在原有29个模型评测结果基础之上，更新5个模型，共33个模型，基于中文+英文双语的主观评测分数为榜单排名标准，以下为Top 10上榜模型得分情况：

视觉语言模型，在原有17个模型评测结果基础之上，更新了5个模型，共22个模型，视觉语言模型的排名按照Avg Rank进行排序，本轮排名分数取多个数据集排名的均值作为最终得分，因此平均排名分数越小的模型名次靠前，以下为Top 10上榜模型得分情况：

文生图模型，在原有18个模型评测结果基础之上，新增了4个模型，共22个模型，本次排名以主观评测分数为主要排名依据，以下为Top 10上榜模型得分情况：

更多评测结果请参阅FlagEval官网：flageval.baai.ac.cn

智源研究院将长期以来在大模型评测的方法、流程和技术等维度的探索与实践，形成了第一期智源评估技术报告《AI大模型能力全景扫描》，持续推进大模型行业的蓬勃发展，报告建议支持开源开放建设，加强评测标准建设，强化协同研究，鼓励创新，推进行业应用，重视安全风险，优化监管，搭建产业生态。欢迎业界同仁提出宝贵意见，上下游企业积极共建。

点击阅读原文下载《AI 大模型能力全景扫描》

阅 读 更 多